Training in virtual environments via a hybrid dynamic trainer model

This thesis presents a novel virtual reality (VR) training concept that integrates the trainer or the trainer model into training sessions. As an extension to conventional VR training systems that rely only on realistic interaction, the students are given the chance to be corrected by the trainer in a multi-user schema. The trainer is connected to the same virtual environment as the student via an individual haptic display. As an alternative, task performing skill of the trainer is captured with hybrid identification methods and the trainer is replaced with the identified model allowing for a single-user training schema. Two different identification approaches are successfully applied and presented in this thesis: The weighted K-means clustering-based method and the stochastically switching dynamics method. Observations and corrections of the trainer or trainer model are multi-modal, i.e. can be represented in the form of visual, acoustic and/or haptic signals. The combination of these possible signals allows for the definition of different training strategies. Enhancing the training systems with extra features that are not available in a real task is investigated as well. Two different VR scenarios are developed as test-beds: A bone drilling medical training system and a push button system. The efficiency of the different training strategies is checked through a series of user tests. To assess the training results objectively, a metric depending on the distance between the trainer and student in n dimensional Euclidean space is introduced and applied. The results validate the efficiency and usability of the training strategies and hybrid identification methods. Zusammenfassung Vorliegende Dissertation stellt ein neuartiges Virtual Reality (VR) Trainingkonzept vor, das den Trainer oder ein Modell des Trainers in eine Trainingssitzung integriert. Als Erweiterung zu klassischen VR Trainingssystemen, die nur auf realistischer Interaktion basieren, haben die Studenten die Möglichkeit vom Trainer bzw. vom Trainermodell korrigiert zu werden. In sogenannten Multi-User Szenarien sind Trainer und Schüler durch zwei individuelle haptische Displays mit der virtuellen Umgebung verbunden. Die sensomotorische Fähigkeit des Trainers wird mittels der Methode der hybriden Identifikation erfasst. In dieser Arbeit werden zwei unterschiedliche Ansätze vorgestellt und erfolgreich angewendet: Die sogenannte gewichtete K-means Clustering Methode und die stochastisch umschaltende Dynamik Methode. Nachdem das hybride dynamische Modell des Trainers entworfen worden ist, besteht die Möglichkeit den Trainer durch das Modell zu ersetzen. Beobachtung und Korrektur durch den Trainer bzw. das Modell erfolgen multimodal, d.h. in Form von visuellen, akustischen sowie haptischen Signalen. Die Kombination dieser Signale ermöglicht die Konzeption unterschiedlicher Trainingsstrategien. Desweiteren wird die Erweiterung der Trainingssysteme durch zusätzliche Funktionen, die in reellen Systemen nicht existieren, diskutiert. Zwei VR-Szenarien werden als Testumfeld verwendet: Das Bohren von Knochen im Rahmen eines medizinischen Trainingssystems sowie das Betätigen virtueller Knöpfe. Die Wirksamkeit der Trainingsstrategien wird durch eine Reihe von Benutzerstudien untersucht. Um die Ergebnisse objektiv zu bewerten, wird eine Evaluierungsmethode eingeführt, die auf einem Maß im n dimensionalen Euklidischen Raum basiert, das die Distanz zwischen Trainer und Schüler beschreibt. Die Ergebnisse bestätigen die Effizienz und Anwendbarkeit der in dieser Dissertation vorgestellten Trainingssysteme.